package org.zjt.spark

import org.apache.spark.{SparkConf, SparkContext}

/**
  * DESC    
  * @author
  **/
object WordCount {

  def main(args: Array[String]) {
    /**
      *   val conf = new SparkConf().setAppName("WordCount").setMaster("local[")
      *   sc.textFile("D:\\data\\input-index").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).saveAsTextFile("D:\\wcOut")
      **/
    val conf = new SparkConf().setAppName("WordCount").setMaster("local")
    val sc = new SparkContext(conf);

    /**  _ 表示 a => a          reduceByKey（sum函数） 都是对value的操作，sum函数 */
    val res = sc.textFile("test.txt").flatMap(_.split(",")).map((_, 1)).reduceByKey(_ + _).filter(_._1.contains("zhang")).collect()




    res.toBuffer.foreach(println)
    sc.stop();
  }

}
